﻿ Procese stocastice (2) • Fie un proces stocastic de parametru continuu si avand spatiul starilor()Xt discret {0,1, , }SN=… – Cu spatiul starilor sau{0,1, }S = … • Definitia : Procesul este un proces Markov daca:()Xt == ==… 1111{( ) () , , () }nn nnPXt x Xt x Xt x++ == 11{( ) () }nnnnPXt x Xt x++ ij • Exemplu: Fie procesul Markov cu trei stari:{0,1, 2}S= • Ireductibilitatea • Definitie: exista o cale de la starea i la starea j daca pe diagrama starilor avem un arc orientat de la i la j – In acest caz pornind din starea i se va ajunge in starea j cu o probabilitate pozitiva • Definitie: spunem ca starile i si j comunica daca si ij↔ ij→ ji→ • Definitie: Procesul Markov este ireductibil daca toate starile comunicaiS∈ una cu cealalta Ecuatiile balansului global si distributiile la echilibru • Fie un proces Markov ireductibil cu ratele tranzitiilor de stare q()Xt ij • Definitie: Fie o distributie definita pe spatiul S,(0,)iSπ= π ≥ ∈ ii π 1()Nπ= ∑ •iiS∈ • Relatia de mai sus reprezinta distributia de echilibru a procesului daca sunt satisfacute ecuatiile de balans global (GBE) pentru fiecare ;iS∈ ()qq GBEπ= π ∑∑ iij j jiji ji≠≠ – Este posibil ca sa nu existe o distributie a echilibrului, dar daca spatiul starilor este finit o unica distributie trebuie sa existe – In cazul procesului Markov ,()Xt alegand distributia echilibrului (daca ea exista) ca si distributie initiala, acesta devine stationar( cu distributia stationara) π Exemple 1()Nπ+π +π = 012 11π⋅=π⋅ 02 11 ()GBEπ⋅ =π ⋅ +π ⋅μ 102 (1 ) 1π⋅ +μ=π⋅ 21 11 1+μ π=π=π= 012,,⇒ 33 3+ μ+μ +μ Ecuatiile balansului local • Fie un proces Markov ireductibil cu ratele tranzitiilor de stare q()Xt ij π ≥ ∈ • Propozitie: Fie o distributie definita pe spatiul S,(0,)iSπ= ii π 1()Nπ= ∑ iiS∈ • • Daca urmatoarele ecuatii ale balansului local sunt satisfacute (LBE), pentru fiecare :,ij S∈ ()qq LBEπ=π iij j ji atunci este distributia de echilibru a procesului π • Demonstratie: (GBE) rezulta din (LBE) insumand pentru totiji≠ • In acest caz procesul Markov ()Xt este numit reversibil (aratand din punct de vedere statistic la fel in ambele sensuri ale parametrului t) Procesul de nastere si moarte • Fie un proces Markov cu parametru continuu si spatiul starilor()Xt discret: sau {0,1, , }SN= …{0,1, }S=… •Definitie: Procesul este un proces de nastere si moarte (BD) daca()Xt tranzitiile de stare sunt posibile numai intre stari vecine 10ij q−> ⇒ = •ij • Se noteaza in acest caz: μ=≥ ,1:0iiiq− λ= ≥ ,1:0iiiq+ = • In particular definim si daca0Nλ N t) numai catre starile adiacente x=n+1 sau x=n-1 Evident ca starea n se poate pastra si la momentul t 'tttΔ= − ( ) () () ()pt t p tp t p t+Δ = Δ + Δ + 11, 1,nnnnnn−− + () pt p t p t+−Δ−Δ ,1 ,1nnn nn+− proces omogen () ()ptp totΔ= Δ+ Δ ,' ,'nn nn Probabilitatea absoluta de stare in procesul de nastere si moarte proces omogen− tranzitii adiacente− () ;N t n probabilitatile conditionate de tranzitie−= Δ=λΔ −μΔ≅λΔ+ Δ ,1() (1 ) ()nn n n npt t t tot+ Δ =μΔ −λΔ ≅μΔ+ Δ ,1() (1 ) ()nn n n npt t t tot− −λΔ −μΔ≅−λ+μΔ+ Δ ,()(1 )(1 )1( ) ()nn n n n npt t t totΔ= proces de nastere pura :()relatia de normare N Δ=λΔ+ Δ ,1() ()nn npttot+ () ()1ptptΔ +Δ= ,1 ,nn nn+ =−λΔ+ Δ ,()1 ()nn npttotΔ Matricea de tranzitii 11 12 1Mpp p⎡⎤ ⎢⎥ ,' 21 22 2{}nn MTp p p p== ⎢⎥ ⎣⎦ 12MMMMpp p⎢⎥ '()nnptΔ (1) ()pj pjT+= ,'lim 'nnqnn== 0ttΔ→ jΔ () (0)pj p T= '()1nnptΔ− ≠ ', '() lim 'nnqt nnΔ= −λΔ+ Δ ,()1 ()nn npt totΔ= 0ttΔ→ Δ ecuatia viitorului − ''() ()nn nnpt tptd+Δ = ,' ''()limnn nnppt== 0tdt tΔ→ Δ '( ) ( )pt ptQ= in conditiile echilibrului statistic GBE pp pp p p p p+= + ,1 ,1 1 1, 1 1,nnn nnn n n n n n n+−−−++ in conditiile echilibrului statistic LBE pp pp p p p p== 11,0 0 0,1 1 1, , 1NNN NNN−− − pp pp pp pp== 11, ,1 ,1, 11,nnn nnn nnn nnn−− − + ++ Ireductibilitatea •Propozitie: Un proces de nastere si moarte este ireductibil daca si numai daca0λ> i \{0}iS∈ pentru toti si pentru toti0μ> i\{ }iS N∈ • Diagrama tranzitiilor de stare a unui proces BD cu stari infinite ireductibil: • Diagrama tranzitiilor de stare ale unui proces BD cu stari finite ireductibil: Distributiile de echilibru (1) • Fie un proces de nastere si moarte ireductibil()Xt ∈ • Ne propunem sa deducem probabilitatea de stare: daca aceasta()iSπ= i μ exista • Ecuatiile balansului local: (LBE)πλ =π μ 11ii i i++ Distributiile de echilibru (1) • Se obtine formula recursiva: i λ λ 1ji− π= π⇒π=π ∏ 10iii+ μμ 11ijj+ = • Impunand conditia de normalizare se obtine: i λ 1j− π = ∑∑ ∏ 01iπ= μ = 1jiS iSj∈∈ Distributiile de echilibru (2) • Distributiile de echilibru exista daca si numai daca: i λ 1j− <∞ ∑ ∏ μ 1jiSj∈ = • Spatiul starilor finit:: suma de mai sus e intotdeauna finita si distributia de echilibru este: iiN λλ 111jj−− − π π = + ∑ ∏∏ 00(1 )iπ= μμ 111jjijj= == • Spatiul starilor infinit: ii∞ λλ 111jj−− − π ⇒ π = + ∑ ∏∏ 00,(1 )iπ= μμ 111jjijj= == Exemple πλ=π μ 1ii+ ⇒π =ρπ ρ =λ μ 1(: / ) ( )iiLBE+ i =π ρ 0i⇒π 2 (1 ) 1 ( )N⇒ π +π +π =π +ρ+ρ = 012 0 i ρ ⇒π= 2i 1+ρ+ρ Procesul de nastere pur •Definitie: Un proces de nastere si moarte este un proces de nastere pur daca0μ i= pentru totiiS∈ • Diagrama tranzitiilor de stare a unui proces de nastere pur cu stari infinite este: • Diagrama tranzitiilor de stare ale unui proces de nastere pur cu stari finite este: •Exemple: procesul Poisson este un proces de nastere pur (cu rata de nastere constanta pentru toti ) λ= {0,1, }iS∈=… iλ • Procesul de nastere pur nu este niciodata ireductibil (nici stationar) Procesul de nastere pur +Δ = + = = Δ • Apare o nastere:,1{( ) 1 () } ( )nnprob N t t n N t n p t+ • Nu se intampla nimic: {( ) () } ( )prob N t t n N t n p t+Δ = = = Δ ,nn Δ+Δ= ,1 ,() ()1nn nnptpt+ Procesul de nastere pur • Proces omogen: Δ=Δ+Δλ ,1() ()nn npt tot+ − Δ+ Δ λ ,()1 ()nn npt totΔ= • Plecand de la ec viitorului: ' λ 000() ()pt pt=− ' =−λλ 11() () ()nnn nnpt p t pt−− ' =λ 11() ()NNNpt p t−− • Independenta ratei de nastere fata de starea sistemului:,= λ nλ ⎧ 01,daca n n= • Presupunand: (0)p= n⎨ 00,daca n n≠ ⎩ n ()tλ −λ t • Rezulta: DISTRIBUTIE POISSON()pte= n !n Matricea T pentru procesul de nastere pura Stari in tt+ΔtStari in NN-1n+1nn-110 0000001t− λ λ 0Δ 0tΔ 00000011t− λ 1Δ 00000n-1tΔ λ −Δλ 1n− 11nt− 1t−Δλ 00000ntΔ nλ n λ 000000n+11t−Δ 1n+ 00000N-11t−Δ Δλ λ 1Nt− 1N− 1000000N Matricea Q pentru procesul de nastere pura StariStari NN-1n+1nn-110 000000 λ 0− 0λ 0000001 λ 1− 00000n-1λ −λ 1n− 1n− 00000nλ λ nn− 000000n+1 −λ 1n+ 00000N-1 λ −λ 1N− 1N− 0000000N Procesul de moarte pura • Distributia duratelor de serviciu intr-un sistem de prelucrare a cererilor de apel poate fi obtinuta prin considerarea unui proces de moarte pura, a carui evolutie descendenta in timp e reprezentata in graficul din figura: +Δ = + = = Δ ,1{( ) 1 () } ( )nnprob N t t n N t n p t+ Procesul de moarte pura • La momentul initial populatia sistemului este si ea scade(0)Nn= 00t= permanent in timp • Ecuatiile viitorului: ' μ 011() ()pt pt= ' =− +μμ 11() () ()nnnnnpt pt p t++ ' () ()pt pt=−μ 00nnn 0 μμ • Presupunand pentru orice n natural ecuatiile de mai sus devinn= ' μ 01() ()pt pt= ' =− +μ 1() ( () ())nnnpt pt p t+ ' () ()pt pt=−μ 0nn 0 • Cu conditiile initiale: = ⎪ 01pentru n n⎧ ()pt= n⎨ ⎪ 00pentru n n≠ ⎩ Matricea T pentru procesul de moarte pura Stari in t+Stari nn-1n+1nn-110 00 00000010 000001 μ μ 1tΔ 11t−Δ 00000n-11t−Δ μ 1n− 0000n1t−Δ μ nμ ntΔ 00000n+1 −Δμ Δμ 11nt+ 1nt+ μ 00000n-11t−Δ 01n− 0 00000ntΔ −μ 0μ 0n0n Matricea Q pentru procesul de nastere pura tStari in t+Stari in nn-1n+1nn-110 00 0000000 000001μ μ 1 1− 00000n-1− μ 1n− 0000n− nμ nμ 00000n+1 −μ μ 1n+ 1n+ 000000n-1 0− μ 01n− 00000nμ 0− 0nnμ 0 Procesul de moarte pura • Solutia ecuatiei (c) este: t−μ ()pte= 0n • Iar a ecuatiei (b) 0nn− ()tμ μ t− () ,0pt e pentrun n== no 0()!nn− • Daca insa starea sistemului nu se defineste prin populatia ci prin numarul()Nt n= de entitati decedate 0() ()mt n N t=− •Cu (0) 0m= • Atunci se obtine chiar o distributie Poisson:Cu conditiile initiale: m ()tμ −μ t 0() ,npt e pentru m o n== !m